Cuối năm 787, vua Đức Tông triệu hồi Lý Bí về Trường An và phong làm Trung thư thị lang (中書侍郎), tương đương với Phó Thủ tướng, gia thêm Đồng trung thư môn hạ bình chương sự (同中書門下平章事). Do chức Trung thư lệnh bỏ trống nên Lý Bí chính là thủ tướng trên thực tế của nhà Đường khi đó. Ngoài ra ông được được giữ chức học sĩ viện Tập hiền để lo việc quốc sử, ban thêm tước Nghiệp huyện hầu.[4] Ngay sau khi bổ nhiệm Lý Bí làm tể tướng (cùng với Lý Thịnh, Mã Toại và Lưu Hồn) vua Đức Tông yêu cầu Lý Bí tuyên thệ là sẽ không ghi hận hay trả thù những người từng làm hại ông trong quá khứ, và Lý Bí nhấn mạnh rằng ông không coi ai là kẻ thù cả; còn những đứa ghen ghét với ông là Lý Phụ Quốc và Nguyên Tái thì đã chết hết rồi. Đồng thời ông cũng yêu cầu nhà vua ghi nhớ công lao của Lý Thịnh, Mã Toại trong việc phục hưng nhà Đường, và không tin theo những lời gièm pha hãm hại bọn họ. Nhà vua đồng ý[29]

Lý Bí ngay lập tức trình bày với Đức Tông về việc cắt giảm số quan viên mà tể tướng trước đó là Trương Diên Thưởng thực hiện, chỉ ra rằng những cấp bậc bị tinh giảm khiến nhà nước không còn đủ người đảm nhiệm hết mọi vấn đề. Ông cũng từ chối nỗ lực của nhà vua trong việc phân chia công việc giữa các tể tướng, vì ông cho rằng các tể tướng đều phải giám sát hết mọi vấn đề. Vua Đức Tông đồng ý với tất cả đề xuất của ông.[29]

Trong khi đó, Trương Diên Thưởng, người có hiềm khích với Lý Thúc Minh (李叔明), Tiết độ xứ Đông Xuyên[30], phát hiện ra rằng con trai của Thúc Minh là Lý Thăng, đang là một viên quan trẻ cấp thấp, có qua lại với dì của Đức Tông - đồng thời là mẹ đẻ của Thái tử phi Tiêu thị - là Công chúa Cáo quốc. Ông ta tấu việc lên Đức Tông, ám chỉ rằng Lý Thăng có quan hệ mờ ám với Công chúa Cáo quốc. Khi nhà vua đem việc này hỏi Lý Bí, thì ông đã sớm đoán biết rằng chính họ Trương là người cáo mật, và đề nghị không điều tra, vì những chuyện thế này sẽ làm tổn hại đến danh dự của Thái tử Lý Tụng. Đổi lại, Đức Tông dời Lý Thăng đến làm việc ở Đông cung để không còn qua lại với công chúa nữa.[29]

Trong tình hình người dân nghèo còn trốn tiền thuế của triều đình, Lý Bí đề nghị ban hành một lệnh xá thuế chung nếu người dân chấp nhận những gì họ nợ và trả một phần nhỏ số tiền đó. Nhà vua đồng ý, và người ta nói rằng lệnh ân xá đã giúp thu hồi phần lớn tiêu hao trong quốc khố. Ông cũng yêu cầu các sứ giả từ các nước ngoài đã ở lại Trường An kể từ sau cuộc nổi loạn của An Lộc Sơn vẫn tiếp tục nhận được tiền trợ cấp từ triều đình - và rằng họ nên quyết định nên trở về nước hay ở lại làm quan cho nhà Đường. Tất cả các sứ giả quyết định ở lại; phần lớn họ trở thành sĩ quan và binh lính quân đội, củng cố quân đoàn bảo vệ triều đình mà tiền trả lương lại tiết kiệm hơn lúc trước.

Đầu thời nhà Đường từng thực hiện chế độ phủ binh, tức là tuyển mộ binh lính đến vùng biên cương, cung cấp đất đai và lương thực cho họ, vào thời chiến thì họ ra trận, thời bình thì tự cày cấy ở chính vùng đất ấy. Đời Đường Minh Hoàng do quốc lực dồi dào, tứ phương vô sự nên chế độ này bị bãi bỏ. Đến đây vì tình hình chiến tranh với Thổ Phiên diễn ra hằng năm khiến triều đình không đủ tiền trả lương cho quân sĩ, nên Lý Bí lại đề xuất áp dụng trở lại. Sau sắc lệnh này, có đến khoảng 50 - 60% binh lính ở chiến trường phía tây đã quyết định ở lại đây định cư.[29] Cuối năm 787, Lưu Tư bị bãi chức, và Lý Bí trở thành tể tướng duy nhất (vì chức danh của Mã Toại và Lý Thịnh chỉ là vinh hàm, bọn họ đều là quan võ.)[31]

Trong lúc này, một rắc rối trong triều đình xảy ra từ vị trí của công chúa Cáo quốc. Bà ta vẫn tiếp tục quan hệ tình cảm với Lý Thăng và các quan viên trẻ khác, cuối cùng bị giới quý tộc cùng nhau tố cáo. Trong cơn giận dữ, Đường Đức Tông cho giam cầm công chúa, và nghi ngờ Thái tử Lý Tụng có đồng lõa trong vụ này. Thái tử bị buộc phải li dị với Thái tử phi, song ông không đồng ý, khiến Đức Tông càng giận dữ hơn và tính tới chuyện phế Thái tử để đưa người con nuôi là Thư vương Lý Nghị (李誼)[32] lên thay. Lý Bí ra sức cầu xin cho Thái tử, đến nỗi suýt nữa là bị vạ lây. Cuối cùng Đức Tông nhớ tới chuyện của Lý Đàm trước kia mới tha tội cho Thái tử.[31] Về sau Cáo quốc qua đời, Đức Tông nhân khi Lý Tụng bị bệnh mà bỏ độc giết chết Tiêu phi[16].

Trong khi đó, nhà vua cảm thấy phiền lòng vì không có đủ tiền để phục vụ cho những trò tiêu khiển cá nhân. Lý Bí đã thiết lập một hệ thống mới trong đó một phần thu nhập của quốc khố sẽ được dùng cho mục đích cá nhân của hoàng đế, trong một nỗi lực nhằm ngăn chặn nhà vua ăn chặn đồ cống phẩm của các địa phương - điều dễ dẫn tới chuyện các quan chức tăng cường bóc lột người dân để hiếu kính với Hoàng đế. Ngay cả khi Lý Bí đã làm như vậy, Đức Tông vẫn tiếp tục hạ lệnh các quan viên địa phương dâng đồ cống nộp, và còn nhấn mạnh đừng để Lý Bí biết chuyện này. Lý Bí rất buồn, nhưng ông quyết định không căn ngăn nhà vua nữa.[31]

Lúc này Lý Bí đưa đề xuất liên minh với Hồi Hột, Nam Chiếu và Đại Thực để cùng chống Thổ Phiên. Bản thân Đường Đức Tông thời còn là Thái tử (năm 762) bị người Hồi Hột làm nhục, nên không muốn liên minh với họ. Lý Bí lập luận rằng chuyện đó xảy ra dưới thời Tiên hãn của Hồi Hột là Đăng Lý, không liên quan gì tới Đốn Mạc hạ Khả hãn hiện tại, và những lợi ích có thể có khi liên minh với người Hồi, và nhất là bức thư xưng thần của Khả hãn với thiên tử nhà Đường. Đức Tông vui mừng, bèn đem con gái là công chúa Hàm An gả cho Khả hãn Hồi Hột. Trong khi đó, Lý Bí xin tìm người cùng mình đảm nhiệm tướng vị, song Đức Tông từ chối với lý do không tìm ra được ai tài năng như ông cả.[31]

Năm 789, Lý Bí bệnh nguy, và khi đó Đức Tông mới bổ nhiệm thêm các tể tướng là Đâu Tham và Đổng Tấn. Không lâu sau Lý Bí qua đời, hưởng thọ 68 tuổi, truy tặng là Thái tử Thái phó.[31] Lưu bút để lại có 20 quyển văn tập. Có 5 người con trai[6].